Credit-assigned Policy Gradient for Early Stage Retrieval in Two-stage Ranking
两阶段排序早期检索的信贷分配策略梯度方法
🧭 两阶段推荐 · 早期检索策略梯度 ★ 深度解读
Cornell University · Meta
提出 CA-PG，通过对含目标项的候选集边际化概率求梯度，大幅降低方差，提升早期检索训练稳定性。
📌 工作参考价值（4 点）
- ESR 训练避坑：不要直接用 V-PG。当候选集 K>10 时，原始策略梯度因组合动作空间（|A|^K）导致梯度溢出和不稳定，实践中推荐切换到 CA-PG 或 TOP1-PG。
- TOP1-PG 是高效默认选择：当 ESR 为单一 PL 模型（非 MoE）时，TOP1-PG 仅需 O(L) 计算，远低于 V-PG 的 O(K)，且实验收敛更快，可直接替代 V-PG-SwR。
- MoE 场景用 CA-PG-SwR：若有多个专家子检索器，CA-PG-SwR 支持多 logit 模型，计算 O(ML)，比 CA-PG 的 O(KL) 更经济，且性能优于 V-PG-SwR，适合大规模电商多路召回。
- LSR 对齐要求不苛刻：理论证明只要 LSR 排序“合理对齐”（如 ε-贪婪、随机策略），CA-PG 仍能学到最优分区（top-K 正确），因此现有业务精排模型可直接作为 LSR 使用，不必担心偏差过大。